RDD转换为DataFrame
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。（一）反射机制推断Schema在Windows系
大数据入门学习指南
大数据入门学习指南前情提要大数据入门核心技术栏目刚打造出来没多久，内容十分丰富，集合将近200篇高质文章带你轻松入门。但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于新手是非常友好的。只要跟着学，想进入大数据做开发是很容易的，前提你得自律
熟悉常用的HBase操作
HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问[HBase官方网站](http://
【BigData】Scala语言的简要介绍以及在window下安装Scala
Spark是专为大规模数据处理而设计的快速通用的计算引擎,它是用Scala语言开发实现的。大数据技术本身就是数据计算的技术,而Scala既有面向对象组织项目工程的能力，又具备计算数据的功能,同时与Spark 紧密集成。一、Scala概述Scala于2001年由瑞士洛桑联邦理工学院(EPFL)编程方法
大数据智能平台的构建策略与步骤
大数据是社会数字化的产物，随着业务成熟度的逐渐向上发展，面对的需求逐渐多样化和个性化，对于创新的要求也越来越高，因此可以说智能数据是大数据发展的高级阶段，是大数据在应用创新落地方向的核心要求。
Scala编程实战 —— 一文学会编码大数据基础案例wordcount
使用scala编写代码实现spark的基础案例 WordCountwordcount是所有大数据框架都基本要做的案例，使用scala编写的wordcount代码对比hadoop更简洁更易写这主要是对scala集合中功能函数的熟悉与使用
客快物流大数据项目(六十七)：客户主题
文章目录客户主题一、背景介绍二、指标明细三、表关联关系1、事实表2、维度表3、关联关系四、客户数据拉宽开发1、拉宽后的字段2、SQL语句3、
大数据与人工智能协会 机器学习小组 测试试题纠错
文章目录前言激活函数：激活函数的作用：常用的激活函数：随机梯度下降：批梯度下降：总结前言经过一段时间的学习，初步了解了机器学习的一些东西，但是在这次测试中仍旧可以看出自己在这方面的了解还只是了解，以下是我在这次测试之后对测试题的纠错和相关的一系列知识。1.写出你所知道的激活函数，写出其表达式以及图像
第6篇: ElasticSearch写操作—原理及近实时性分析(完整版)
目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领域.E
大数据概论第二章理论基础
目录数据科学的学科地位统计学统计学与数据科学数据科学中常用的统计学知识数据科学视角下的统计学机器学习机器学习与数据库数据科学中常用的机器学习知识数据科学视角下的机器学习数据可视化数据科学的学科地位从学科定位上看，数据科学处于三大领域交叠之处，如下维恩图所示：从DrewConway的《数据科学维恩图》
Hive实战 —— 利用Hive进行数据分析并将分析好的数据导出到mysql数据库中
Hive实战 利用Hive统计分析出热门视频TOP10,并将分析好的数据导出到mysql数据库中，步步相扣，记录一次试验完整过程，体验操作
开源OceanBase如何与Prometheus与Grafana监控结合
一、OceanBase 数据库简介OceanBase 数据库是一个原生的分布式关系数据库，它是完全由阿里巴巴和蚂蚁集团自主研发的项目，近期成立单独的商业公司北京奥星贝斯进行运营，并于2021年6月1日开源。OceanBase 数据库构建在通用服务器集群上，基于 Paxos 协议和分布式架构，提供金融
数据中台建设（十一）：数据中台解决方案参考与未来发展方向
各个行业的数据中台解决方案类似，只是涉及到的业务不同，建设框架类似。下面以零售行业构建数据中台和网易构建的数据中台为例，说明构建数据中台的解决方案。
搭建大数据集群linux服务器配置步骤
1、IP设置使用下面命令修改添加示例内容命令：vi /etc/sysconfig/network-scripts/ifcfg-ensXX修改添加的内容示例：BOOTPROTO=staticIPADDR=192.168.1.100NETMASK=255.255.255.0GATEWAY=192.168
分布式-CAP定理
在分布式学习中，我们经常遇到一个概念便是CAP，它是分布式很重要的理论基础。很多分布式算法也是在不断的在解决相关问题，今天就让我们重新学习或者回顾一下这个知识点吧，加深印象打牢基础。一、简介CAP定理（CAP theorem），又被称作布鲁尔定理（Brewer's theorem），由计算机科学家
企业上云的增效
一、企业上云增效1、当下，IT 界的最佳技术组合可能就是“云计算 + 人工智能”。云计算解决了扩展性、数据存储、性能等问题，而人工智能技术则大大提高了数据分析和处理效率。2、无需购买硬件，也无需维护和扩展基础架构，因此可以将您的资源集中用于发掘新的洞察。3、云计算可以为现代化应用的峰值需求“无限续杯
hbase的啥子日子问题
这个是最开始的数据：乱七八糟的，要取出其中的一些，类似这些其中毫秒级的时间数据要转为时间戳spark先过滤出要取的数据package sparkj;import java.text.SimpleDateFormat;import java.util.Arrays;import java.util.r
数据中台建设（八）：数据服务体系建设
数据服务是数据中台能力的出口，是支撑数据应用的重要支撑。数据资产只要形成数据服务被企业使用，才能体现价值，传统做法是根据某个应用产品的需求，独立构建非常多的数据接口与应用产品对接，这会造成大量接口的重复建设，且修改、运维、监控的成本都很大。我们可以构建可管理、可复用、可监控的统一标准下的数据服务体系
国家多部委发布13份“十四五”规划，115项重大工程
近段时间，国家多个部委陆续发布各自领域的“十四五”发展规划。据不完全统计，已发布《“十四五”数字经济发展规划》《“十四五”智能制造发展规划》、《“十四五”大数据产业发展规划》、《“十四五”机器人产业发展规划》等13个与科技领域相关的政策文件。
数据中台建设（七）：数据资产管理
文章目录数据资产管理一、数据标准管理二、元数据管理三、主数据管理四、数据质量管理五、数据安全管理六、数据共享管理七、数据生命周期管理数据资产管理随着企业数据越来越大，企业意识到数据是一种无形的资产，通过对企业各业务线产生的海量数据进行合理管理和有效应用，能盘活并充分释放数
